<html>
 <head>
  <meta charset="utf-8"/>
  <meta content="width=device-width, initial-scale=1, maximum-scale=1, user-scalable=no" name="viewport"/>
  <title>
   JinZhihui: LDA-math-MCMC 和 Gibbs Sampling  | 数螺 | NAUT IDEA
  </title>
  <link href="http://cdn.bootcss.com/bootstrap/3.3.6/css/bootstrap-theme.min.css" rel="stylesheet"/>
  <link href="http://cdn.bootcss.com/bootstrap/3.3.6/css/bootstrap.min.css" rel="stylesheet"/>
  <style type="text/css">
   #xmain img {
                  max-width: 100%;
                  display: block;
                  margin-top: 10px;
                  margin-bottom: 10px;
                }

                #xmain p {
                    line-height:150%;
                    font-size: 16px;
                    margin-top: 20px;
                }

                #xmain h2 {
                    font-size: 24px;
                }

                #xmain h3 {
                    font-size: 20px;
                }

                #xmain h4 {
                    font-size: 18px;
                }


                .header {
	           background-color: #0099ff;
	           color: #ffffff;
	           margin-bottom: 20px;
	        }

	        .header p {
                  margin: 0px;
                  padding: 10px 0;
                  display: inline-block;  
                  vertical-align: middle;
                  font-size: 16px;
               }

               .header a {
                 color: white;
               }

              .header img {
                 height: 25px;
              }
  </style>
  <script src="http://cdn.bootcss.com/jquery/3.0.0/jquery.min.js">
  </script>
  <script src="http://cdn.mathjax.org/mathjax/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML" type="text/javascript">
   MathJax.Hub.Config({
          tex2jax: {inlineMath: [['$','$'], ['\\(','\\)']]},
          TeX: {equationNumbers: {autoNumber: "AMS"}}
        });
  </script>
  <script src="http://nautstatic-10007657.file.myqcloud.com/static/css/readability.min.js" type="text/javascript">
  </script>
  <script type="text/javascript">
   $(document).ready(function() {
                 var loc = document.location;
                 var uri = {
                  spec: "http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/",
                  host: "http://cos.name",
                  prePath: "http://cos.name",
                  scheme: "http",
                  pathBase: "http://cos.name/"
                 };
    
                 var documentClone = document.cloneNode(true);
                 var article = new Readability(uri, documentClone).parse();
     
                 document.getElementById("xmain").innerHTML = article.content;
                });
  </script>
  <!-- 1466441768: Accept with keywords: (title(0.25):中国,统计学,服务平台,门户网站, topn(0.4):概率,定义,中层,概率分布,证明,分布,条件,过程,状态,平稳,假设,计算,文章,链转移,方法,随机数,蒙特卡罗,下层,样本,矩阵,楼主,问题,代人,算法,随机,稳态,坐标轴,情形,序列,时候).-->
 </head>
 <body class="single single-post postid-6962 single-format-standard sidebar" onload="">
  <div class="header">
   <div class="container">
    <div class="row">
     <div class="col-xs-6 col-sm-6 text-left">
      <a href="/databee">
       <img src="http://nautidea-10007657.cos.myqcloud.com/logo_white.png"/>
      </a>
      <a href="/databee">
       <p>
        数螺
       </p>
      </a>
     </div>
     <div class="hidden-xs col-sm-6 text-right">
      <p>
       致力于数据科学的推广和知识传播
      </p>
     </div>
    </div>
   </div>
  </div>
  <div class="container text-center">
   <h1>
    JinZhihui: LDA-math-MCMC 和 Gibbs Sampling
   </h1>
  </div>
  <div class="container" id="xmain">
   <div class="hfeed site" id="page">
    <header class="site-header" id="masthead" role="banner">
     <div id="cos-logo">
      <a href="http://cos.name/">
       <img src="http://cos.name/wp-content/themes/COS-kermesinus/images/headers/cos-logo.png"/>
      </a>
     </div>
     <div class="navbar" id="navbar">
      <nav class="navigation main-navigation" id="site-navigation" role="navigation">
       <h3 class="menu-toggle">
        菜单
       </h3>
       <a class="screen-reader-text skip-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#content" title="跳至内容">
        跳至内容
       </a>
       <div class="menu-%e6%88%91%e7%9a%84%e8%8f%9c%e5%8d%95-container">
        <ul class="nav-menu" id="menu-%e6%88%91%e7%9a%84%e8%8f%9c%e5%8d%95">
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-home menu-item-4746" id="menu-item-4746">
          <a href="http://cos.name">
           主页
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-has-children menu-item-8120" id="menu-item-8120">
          <a href="http://cos.name/cn">
           论坛
          </a>
          <ul class="sub-menu">
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8124" id="menu-item-8124">
            <a href="http://cos.name/cn/wp-login.php?action=register">
             论坛注册
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8125" id="menu-item-8125">
            <a href="http://cos.name/cn/wp-login.php">
             论坛登录
            </a>
           </li>
          </ul>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8110" id="menu-item-8110">
          <a href="http://cos.name/books/">
           图书资料
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8112" id="menu-item-8112">
          <a href="http://cos.name/videos">
           视频教程
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8333" id="menu-item-8333">
          <a href="http://cos.name/salon/">
           统计沙龙
          </a>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8111" id="menu-item-8111">
          <a href="http://cos.name/chinar/">
           R语言会议
          </a>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8109" id="menu-item-8109">
          <a href="http://cos.name/training/">
           讲座与培训
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8115" id="menu-item-8115">
          <a href="http://cos.name/cn/forum/comprehensive/job/">
           招聘信息
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-has-children menu-item-4780" id="menu-item-4780">
          <a href="http://cos.name/about">
           关于我们
          </a>
          <ul class="sub-menu">
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8113" id="menu-item-8113">
            <a href="http://cos.name/2008/11/how-to-work-with-cos/">
             加入我们
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8119" id="menu-item-8119">
            <a href="http://cos.name/donate/">
             赞助我们
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8114" id="menu-item-8114">
            <a href="http://cos.name/cn/forum/26">
             项目合作
            </a>
           </li>
          </ul>
         </li>
        </ul>
       </div>
       <form action="http://cos.name/" class="search-form" method="get" role="search">
        <label>
         <span class="screen-reader-text">
          搜索：
         </span>
        </label>
       </form>
      </nav>
      <!-- #site-navigation -->
     </div>
     <!-- #navbar -->
    </header>
    <!-- #masthead -->
    <div class="site-main" id="main">
     <div class="content-area" id="primary">
      <div class="site-content" id="content" role="main">
       <article class="post-6962 post type-post status-publish format-standard hentry category-math category-probability tag-gibbs tag-mcmc tag-monte-carlo tag-339" id="post-6962">
        <header class="entry-header">
         <h1 class="entry-title">
          LDA-math-MCMC 和 Gibbs Sampling
         </h1>
         <div class="entry-meta">
          <span class="date">
           <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/" rel="bookmark" title="链向LDA-math-MCMC 和 Gibbs Sampling的固定链接">
            <time class="entry-date" datetime="2013-01-17T23:13:02+00:00">
             2013/01/17
            </time>
           </a>
          </span>
          <span class="categories-links">
           <a href="http://cos.name/category/math/" rel="category tag">
            数学方法
           </a>
           、
           <a href="http://cos.name/category/math/probability/" rel="category tag">
            概率论
           </a>
          </span>
          <span class="tags-links">
           <a href="http://cos.name/tag/gibbs%e6%8a%bd%e6%a0%b7/" rel="tag">
            Gibbs抽样
           </a>
           、
           <a href="http://cos.name/tag/mcmc/" rel="tag">
            MCMC
           </a>
           、
           <a href="http://cos.name/tag/monte-carlo/" rel="tag">
            Monte-Carlo
           </a>
           、
           <a href="http://cos.name/tag/%e7%bb%9f%e8%ae%a1%e6%a8%a1%e6%8b%9f/" rel="tag">
            统计模拟
           </a>
          </span>
          <span class="author vcard">
           <a class="url fn n" href="http://cos.name/author/rickjin/" rel="author" title="查看所有由rickjin发布的文章">
            rickjin
           </a>
          </span>
         </div>
         <!-- .entry-meta -->
        </header>
        <!-- .entry-header -->
        <div class="entry-content">
         <p>
          <strong>
           3.1 随机模拟
          </strong>
         </p>
         <p>
          随机模拟(或者统计模拟)方法有一个很酷的别名是蒙特卡罗方法(Monte Carlo Simulation)。这个方法的发展始于20世纪40年代，和原子弹制造的曼哈顿计划密切相关，当时的几个大牛，包括乌拉姆、冯.诺依曼、费米、费曼、Nicholas Metropolis， 在美国洛斯阿拉莫斯国家实验室研究裂变物质的中子连锁反应的时候，开始使用统计模拟的方法,并在最早的计算机上进行编程实现。
         </p>
         <p style="text-align: center;">
          <strong>
           <a href="http://cos.name/2013/01/lda-math-%e7%a5%9e%e5%a5%87%e7%9a%84gamma%e5%87%bd%e6%95%b0/simulation/" rel="attachment wp-att-6947">
            <img src="http://cos.name/wp-content/uploads/2013/01/simulation.jpg"/>
           </a>
           随机模拟与计算机
          </strong>
         </p>
         <p>
          现代的统计模拟方法最早由数学家乌拉姆提出，被Metropolis命名为蒙特卡罗方法，蒙特卡罗是著名的赌场，赌博总是和统计密切关联的，所以这个命名风趣而贴切，很快被大家广泛接受。被不过据说费米之前就已经在实验中使用了，但是没有发表。说起蒙特卡罗方法的源头，可以追溯到18世纪，布丰当年用于计算$\pi$的著名的投针实验就是蒙特卡罗模拟实验。统计采样的方法其实数学家们很早就知道，但是在计算机出现以前，随机数生成的成本很高，所以该方法也没有实用价值。随着计算机技术在二十世纪后半叶的迅猛发展，随机模拟技术很快进入实用阶段。对那些用确定算法不可行或不可能解决的问题，蒙特卡罗方法常常为人们带来希望。
          <span id="more-6962">
          </span>
         </p>
         <p style="text-align: center;">
          <strong>
           <a href="http://cos.name/2013/01/lda-math-%e7%a5%9e%e5%a5%87%e7%9a%84gamma%e5%87%bd%e6%95%b0/monte-carlo-simulation/" rel="attachment wp-att-6943">
            <img src="http://cos.name/wp-content/uploads/2013/01/monte-carlo-simulation.jpg"/>
           </a>
           蒙特卡罗方法
          </strong>
         </p>
         <p>
          统计模拟中有一个重要的问题就是给定一个概率分布$p(x)$，我们如何在计算机中生成它的样本。一般而言均匀分布 $Uniform(0,1)$的样本是相对容易生成的。 通过线性同余发生器可以生成伪随机数，我们用确定性算法生成$[0,1]$之间的伪随机数序列后，这些序列的各种统计指标和均匀分布 $Uniform(0,1)$ 的理论计算结果非常接近。这样的伪随机序列就有比较好的统计性质，可以被当成真实的随机数使用。
         </p>
         <p>
          <a href="http://cos.name/2013/01/lda-math-%e7%a5%9e%e5%a5%87%e7%9a%84gamma%e5%87%bd%e6%95%b0/sampling/" rel="attachment wp-att-6946">
           <img src="http://cos.name/wp-content/uploads/2013/01/sampling.png"/>
          </a>
         </p>
         <p style="text-align: center;">
          <strong>
           生成一个概率分布的样本
          </strong>
         </p>
         <p>
          而我们常见的概率分布，无论是连续的还是离散的分布，都可以基于$Uniform(0,1)$ 的样本生成。例如正态分布可以通过著名的 Box-Muller 变换得到
         </p>
         <p>
          <strong>
           [Box-Muller 变换]
          </strong>
          如果随机变量 $U_1, U_2$ 独立且$U_1, U_2 \sim Uniform[0,1]$，
          <br/>
          \begin{align*}
          <br/>
          Z_0 &amp; = \sqrt{-2\ln U_1} cos(2\pi U_2) \\
          <br/>
          Z_1 &amp; = \sqrt{-2\ln U_1} sin(2\pi U_2)
          <br/>
          \end{align*}
          <br/>
          则 $Z_0,Z_1$ 独立且服从标准正态分布。
         </p>
         <p>
          其它几个著名的连续分布，包括指数分布、Gamma 分布、t 分布、F 分布、Beta 分布、Dirichlet 分布等等,也都可以通过类似的数学变换得到；离散的分布通过均匀分布更加容易生成。更多的统计分布如何通过均匀分布的变换生成出来，大家可以参考统计计算的书，其中 Sheldon M. Ross 的《统计模拟》是写得非常通俗易懂的一本。
         </p>
         <p>
          不过我们并不是总是这么幸运的，当$p(x)$的形式很复杂，或者 $p(\mathbf{x})$ 是个高维的分布的时候，样本的生成就可能很困难了。 譬如有如下的情况
         </p>
         <ul>
          <li>
           $\displaystyle p(x) = \frac{\tilde{p}(x)}{\int \tilde{p}(x) dx}$,而 $\tilde{p}(x)$ 我们是可以计算的，但是底下的积分式无法显式计算。
          </li>
          <li>
           $p(x,y)$ 是一个二维的分布函数，这个函数本身计算很困难，但是条件分布 $p(x|y),p(y|x)$的计算相对简单;如果 $p(\mathbf{x})$ 是高维的，这种情形就更加明显。
          </li>
         </ul>
         <p>
          此时就需要使用一些更加复杂的随机模拟的方法来生成样本。而本节中将要重点介绍的 MCMC(Markov Chain Monte Carlo) 和 Gibbs Sampling算法就是最常用的一种，这两个方法在现代贝叶斯分析中被广泛使用。要了解这两个算法，我们首先要对马氏链的平稳分布的性质有基本的认识。
         </p>
         <p>
          <strong>
           3.2 马氏链及其平稳分布
          </strong>
         </p>
         <p>
          马氏链的数学定义很简单
          <br/>
          $$ P(X_{t+1}=x|X_t, X_{t-1}, \cdots) =P(X_{t+1}=x|X_t) $$
          <br/>
          也就是状态转移的概率只依赖于前一个状态。
         </p>
         <p>
          我们先来看马氏链的一个具体的例子。社会学家经常把人按其经济状况分成3类：下层(lower-class)、中层(middle-class)、上层(upper-class)，我们用1,2,3 分别代表这三个阶层。社会学家们发现决定一个人的收入阶层的最重要的因素就是其父母的收入阶层。如果一个人的收入属于下层类别，那么他的孩子属于下层收入的概率是 0.65, 属于中层收入的概率是 0.28, 属于上层收入的概率是 0.07。事实上，从父代到子代，收入阶层的变化的转移概率如下
         </p>
         <p style="text-align: center;">
          <a href="http://cos.name/2013/01/lda-math-%e7%a5%9e%e5%a5%87%e7%9a%84gamma%e5%87%bd%e6%95%b0/table-1/" rel="attachment wp-att-6948">
           <img src="http://cos.name/wp-content/uploads/2013/01/table-1.jpg"/>
          </a>
          <a href="http://cos.name/2013/01/lda-math-%e7%a5%9e%e5%a5%87%e7%9a%84gamma%e5%87%bd%e6%95%b0/markov-transition/" rel="attachment wp-att-6939">
           <img src="http://cos.name/wp-content/uploads/2013/01/markov-transition.png"/>
          </a>
         </p>
         <p>
          使用矩阵的表示方式，转移概率矩阵记为
          <br/>
          $$P =
          <br/>
          \begin{bmatrix}
          <br/>
          0.65 &amp; 0.28 &amp; 0.07 \\
          <br/>
          0.15 &amp; 0.67 &amp; 0.18 \\
          <br/>
          0.12 &amp; 0.36 &amp; 0.52 \\
          <br/>
          \end{bmatrix}
          <br/>
          $$
         </p>
         <p>
          假设当前这一代人处在下层、中层、上层的人的比例是概率分布向量 $\pi_0=[\pi_0(1), \pi_0(2), \pi_0(3)]$，那么他们的子女的分布比例将是 $\pi_1=\pi_0P$, 他们的孙子代的分布比例将是 $\pi_2 = \pi_1P=\pi_0P^2$, ……, 第$n$代子孙的收入分布比例将是 $\pi_n = \pi_{n-1}P = \pi_0P^n$。
         </p>
         <p>
          假设初始概率分布为$\pi_0 = [0.21,0.68,0.11] $，则我们可以计算前$n$代人的分布状况如下
         </p>
         <p style="text-align: center;">
          <a href="http://cos.name/2013/01/lda-math-%e7%a5%9e%e5%a5%87%e7%9a%84gamma%e5%87%bd%e6%95%b0/table-2/" rel="attachment wp-att-6917">
           <img src="http://cos.name/wp-content/uploads/2013/01/table-2.jpg"/>
          </a>
         </p>
         <p>
          我们发现从第7代人开始，这个分布就稳定不变了，这个是偶然的吗？我们换一个初始概率分布$\pi_0 = [0.75,0.15,0.1]$ 试试看，继续计算前$n$代人的分布状况如下
         </p>
         <p style="text-align: center;">
          <a href="http://cos.name/2013/01/lda-math-%e7%a5%9e%e5%a5%87%e7%9a%84gamma%e5%87%bd%e6%95%b0/table-3/" rel="attachment wp-att-6918">
           <img src="http://cos.name/wp-content/uploads/2013/01/table-3.jpg"/>
          </a>
         </p>
         <p>
          我们发现，到第9代人的时候, 分布又收敛了。最为奇特的是，两次给定不同的初始概率分布，最终都收敛到概率分布 $\pi=[0.286, 0.489, 0.225]$，也就是说收敛的行为和初始概率分布 $\pi_0$ 无关。这说明这个收敛行为主要是由概率转移矩阵$P$决定的。我们计算一下 $P^n$
         </p>
         <p>
          $$ P^{20} = P^{21} = \cdots = P^{100} = \cdots =
          <br/>
          \begin{bmatrix}
          <br/>
          0.286 &amp; 0.489 &amp; 0.225 \\
          <br/>
          0.286 &amp; 0.489 &amp; 0.225 \\
          <br/>
          0.286 &amp; 0.489 &amp; 0.225 \\
          <br/>
          \end{bmatrix}
          <br/>
          $$
         </p>
         <p>
          我们发现，当 $n$ 足够大的时候，这个$P^n$矩阵的每一行都是稳定地收敛到$\pi=[0.286, 0.489, 0.225]$ 这个概率分布。自然的，这个收敛现象并非是我们这个马氏链独有的，而是绝大多数马氏链的共同行为，关于马氏链的收敛我们有如下漂亮的定理：
         </p>
         <p>
          <strong>
           马氏链定理：
          </strong>
          如果一个非周期马氏链具有转移概率矩阵$P$,且它的任何两个状态是连通的，那么 $\displaystyle \lim_{n\rightarrow\infty}P_{ij}^n$ 存在且与$i$无关，记 $\displaystyle \lim_{n\rightarrow\infty}P_{ij}^n = \pi(j)$, 我们有
         </p>
         <ol>
          <li>
           $ \displaystyle \lim_{n \rightarrow \infty} P^n =\begin{bmatrix}
           <br/>
           \pi(1) &amp; \pi(2) &amp; \cdots &amp; \pi(j) &amp; \cdots \\
           <br/>
           \pi(1) &amp; \pi(2) &amp; \cdots &amp; \pi(j) &amp; \cdots \\
           <br/>
           \cdots &amp; \cdots &amp; \cdots &amp; \cdots &amp; \cdots \\
           <br/>
           \pi(1) &amp; \pi(2) &amp; \cdots &amp; \pi(j) &amp; \cdots \\
           <br/>
           \cdots &amp; \cdots &amp; \cdots &amp; \cdots &amp; \cdots \\
           <br/>
           \end{bmatrix} $
          </li>
         </ol>
         <ol>
          <li>
           $ \displaystyle \pi(j) = \sum_{i=0}^{\infty}\pi(i)P_{ij} $
          </li>
          <li>
           $\pi$ 是方程 $\pi P = \pi$ 的唯一非负解
          </li>
         </ol>
         <p>
          其中,
          <br/>
          $$ \pi = [\pi(1), \pi(2), \cdots, \pi(j),\cdots ], \quad \sum_{i=0}^{\infty} \pi_i = 1 $$
          <br/>
          $\pi$称为马氏链的平稳分布。
         </p>
         <p>
          这个马氏链的收敛定理非常重要，
          <strong>
           所有的 MCMC(Markov Chain Monte Carlo) 方法都是以这个定理作为理论基础的。
          </strong>
          定理的证明相对复杂，一般的随机过程课本中也不给证明，所以我们就不用纠结它的证明了，直接用这个定理的结论就好了。我们对这个定理的内容做一些解释说明：
         </p>
         <ol>
          <li>
           该定理中马氏链的状态不要求有限，可以是有无穷多个的；
          </li>
          <li>
           定理中的“非周期“这个概念我们不打算解释了，因为我们遇到的绝大多数马氏链都是非周期的；
          </li>
          <li>
           两个状态$i,j$是连通并非指$i$ 可以直接一步转移到$j$($P_{ij} &gt; 0$),而是指 $i$ 可以通过有限的$n$步转移到达$j$($P_{ij}^n &gt; 0$)。马氏链的任何两个状态是连通的含义是指存在一个$n$, 使得矩阵$P^n$ 中的任何一个元素的数值都大于零。
          </li>
          <li>
           我们用 $X_i$ 表示在马氏链上跳转第$i$步后所处的状态，如果 $\displaystyle \lim_{n\rightarrow\infty}P_{ij}^n = \pi(j)$ 存在，很容易证明以上定理的第二个结论。由于
           <br/>
           \begin{align*}
           <br/>
           P(X_{n+1}=j) &amp; = \sum_{i=0}^\infty P(X_n=i) P(X_{n+1}=j|X_n=i) \\
           <br/>
           &amp; = \sum_{i=0}^\infty P(X_n=i) P_{ij}
           <br/>
           \end{align*}
           <br/>
           上式两边取极限就得到 $ \displaystyle \pi(j) = \sum_{i=0}^{\infty}\pi(i)P_{ij}$
          </li>
         </ol>
         <p>
          从初始概率分布 $\pi_0$ 出发，我们在马氏链上做状态转移，记$X_i$的概率分布为$\pi_i$, 则有
          <br/>
          \begin{align*}
          <br/>
          X_0 &amp; \sim \pi_0(x) \\
          <br/>
          X_i &amp; \sim \pi_i(x), \quad\quad \pi_i(x) = \pi_{i-1}(x)P = \pi_0(x)P^n
          <br/>
          \end{align*}
          <br/>
          由马氏链收敛的定理, 概率分布$\pi_i(x)$将收敛到平稳分布 $\pi(x)$。假设到第$n$步的时候马氏链收敛，则有
          <br/>
          \begin{align*}
          <br/>
          X_0 &amp; \sim \pi_0(x) \\
          <br/>
          X_1 &amp; \sim \pi_1(x) \\
          <br/>
          &amp; \cdots \\
          <br/>
          X_n &amp; \sim \pi_n(x)=\pi(x) \\
          <br/>
          X_{n+1} &amp; \sim \pi(x) \\
          <br/>
          X_{n+2}&amp; \sim \pi(x) \\
          <br/>
          &amp; \cdots
          <br/>
          \end{align*}
          <br/>
          所以 $X_n,X_{n+1},X_{n+2},\cdots \sim \pi(x)$ 都是同分布的随机变量，当然他们并不独立。如果我们从一个具体的初始状态 $x_0$ 开始,沿着马氏链按照概率转移矩阵做跳转，那么我们得到一个转移序列 $x_0, x_1, x_2, \cdots x_n, x_{n+1}\cdots,$ 由于马氏链的收敛行为， $x_n, x_{n+1},\cdots$ 都将是平稳分布 $\pi(x)$ 的样本。
         </p>
         <p>
          <strong>
           3.3 Markov Chain Monte Carlo
          </strong>
         </p>
         <p>
          对于给定的概率分布$p(x)$,我们希望能有便捷的方式生成它对应的样本。由于马氏链能收敛到平稳分布， 于是一个很的漂亮想法是：如果我们能构造一个转移矩阵为$P$的马氏链，使得该马氏链的平稳分布恰好是$p(x)$, 那么我们从任何一个初始状态$x_0$出发沿着马氏链转移, 得到一个转移序列 $x_0, x_1, x_2, \cdots x_n, x_{n+1}\cdots,$， 如果马氏链在第$n$步已经收敛了，于是我们就得到了 $\pi(x)$ 的样本$x_n, x_{n+1}\cdots$。
         </p>
         <p>
          这个绝妙的想法在1953年被 Metropolis想到了，为了研究粒子系统的平稳性质， Metropolis 考虑了物理学中常见的波尔兹曼分布的采样问题，首次提出了基于马氏链的蒙特卡罗方法，即Metropolis算法，并在最早的计算机上编程实现。Metropolis 算法是首个普适的采样方法，并启发了一系列 MCMC方法，所以人们把它视为随机模拟技术腾飞的起点。 Metropolis的这篇论文被收录在《统计学中的重大突破》中， Metropolis算法也被遴选为二十世纪的十个最重要的算法之一。
         </p>
         <p>
          我们接下来介绍的MCMC 算法是 Metropolis 算法的一个改进变种，即常用的 Metropolis-Hastings 算法。由上一节的例子和定理我们看到了，马氏链的收敛性质主要由转移矩阵$P$ 决定, 所以基于马氏链做采样的关键问题是如何构造转移矩阵$P$,使得平稳分布恰好是我们要的分布$p(x)$。如何能做到这一点呢？我们主要使用如下的定理。
         </p>
         <p>
          <strong>
           定理：[细致平稳条件]
          </strong>
          如果非周期马氏链的转移矩阵$P$和分布$\pi(x)$ 满足
          <br/>
          \begin{equation}
          <br/>
          \pi(i)P_{ij} = \pi(j)P_{ji} \quad\quad \text{for all} \quad i,j
          <br/>
          \end{equation}
          <br/>
          则 $\pi(x)$ 是马氏链的平稳分布，上式被称为细致平稳条件(detailed balance condition)。
         </p>
         <p>
          其实这个定理是显而易见的，因为细致平稳条件的物理含义就是对于任何两个状态$i,j$, 从 $i$ 转移出去到$j$ 而丢失的概率质量，恰好会被从 $j$ 转移回$i$ 的概率质量补充回来，所以状态$i$上的概率质量$\pi(i)$是稳定的，从而$\pi(x)$是马氏链的平稳分布。数学上的证明也很简单，由细致平稳条件可得
          <br/>
          \begin{align*}
          <br/>
          &amp; \sum_{i=1}^\infty \pi(i)P_{ij} = \sum_{i=1}^\infty \pi(j)P_{ji}
          <br/>
          = \pi(j) \sum_{i=1}^\infty P_{ji} = \pi(j) \\
          <br/>
          &amp; \Rightarrow \pi P = \pi
          <br/>
          \end{align*}
          <br/>
          由于$\pi$ 是方程 $\pi P = \pi$的解，所以$\pi$是平稳分布。
         </p>
         <p>
          假设我们已经有一个转移矩阵为$Q$马氏链($q(i,j)$表示从状态 $i$转移到状态$j$的概率，也可以写为 $q(j|i)$或者$q(i\rightarrow j)$), 显然，通常情况下 $$ p(i) q(i,j) \neq p(j) q(j,i) $$ 也就是细致平稳条件不成立，所以 $p(x)$ 不太可能是这个马氏链的平稳分布。我们可否对马氏链做一个改造，使得细致平稳条件成立呢？譬如，我们引入一个 $\alpha(i,j)$, 我们希望
          <br/>
          \begin{equation}
          <br/>
          \label{choose-alpha}
          <br/>
          p(i) q(i,j)\alpha(i,j) = p(j) q(j,i)\alpha(j,i)  \quad (*)
          <br/>
          \end{equation}
          <br/>
          取什么样的 $\alpha(i,j)$ 以上等式能成立呢？最简单的，按照对称性，我们可以取
          <br/>
          $$ \alpha(i,j)= p(j) q(j,i)， \quad \alpha(j,i) = p(i) q(i,j)$$
          <br/>
          于是(*)式就成立了。所以有
          <br/>
          \begin{equation}
          <br/>
          \label{detailed-balance}
          <br/>
          p(i) \underbrace{q(i,j)\alpha(i,j)}_{Q'(i,j)}
          <br/>
          = p(j) \underbrace{q(j,i)\alpha(j,i)}_{Q'(j,i)}  \quad (**)
          <br/>
          \end{equation}
          <br/>
          于是我们把原来具有转移矩阵$Q$的一个很普通的马氏链，改造为了具有转移矩阵$Q’$的马氏链，而 $Q’$恰好满足细致平稳条件，由此马氏链$Q’$的平稳分布就是$p(x)$！
         </p>
         <p>
          在改造 $Q$ 的过程中引入的 $\alpha(i,j)$称为接受率，物理意义可以理解为在原来的马氏链上，从状态 $i$ 以$q(i,j)$ 的概率转跳转到状态$j$ 的时候，我们以$\alpha(i,j)$的概率接受这个转移，于是得到新的马氏链$Q’$的转移概率为$q(i,j)\alpha(i,j)$。
         </p>
         <p style="text-align: center;">
          <strong>
           <a href="http://cos.name/2013/01/lda-math-%e7%a5%9e%e5%a5%87%e7%9a%84gamma%e5%87%bd%e6%95%b0/mcmc-transition/" rel="attachment wp-att-6942">
            <img src="http://cos.name/wp-content/uploads/2013/01/mcmc-transition.jpg"/>
           </a>
           马氏链转移和接受概率
          </strong>
         </p>
         <p>
          假设我们已经有一个转移矩阵Q(对应元素为$q(i,j)$), 把以上的过程整理一下，我们就得到了如下的用于采样概率分布$p(x)$的算法。
         </p>
         <p>
          <a href="http://cos.name/2013/01/lda-math-%e7%a5%9e%e5%a5%87%e7%9a%84gamma%e5%87%bd%e6%95%b0/mcmc-algo-1/" rel="attachment wp-att-6940">
           <img src="http://cos.name/wp-content/uploads/2013/01/mcmc-algo-1.jpg"/>
          </a>
         </p>
         <p>
          上述过程中 $p(x),q(x|y)$ 说的都是离散的情形，事实上即便这两个分布是连续的，以上算法仍然是有效，于是就得到更一般的连续概率分布 $p(x)$的采样算法，而 $q(x|y)$ 就是任意一个连续二元概率分布对应的条件分布。
         </p>
         <p>
          以上的 MCMC 采样算法已经能很漂亮的工作了，不过它有一个小的问题：马氏链$Q$在转移的过程中的接受率 $\alpha(i,j)$ 可能偏小，这样采样过程中马氏链容易原地踏步，拒绝大量的跳转，这使得马氏链遍历所有的状态空间要花费太长的时间，收敛到平稳分布$p(x)$的速度太慢。有没有办法提升一些接受率呢?
         </p>
         <p>
          假设 $\alpha(i,j)=0.1, \alpha(j,i)=0.2$, 此时满足细致平稳条件，于是
          <br/>
          $$ p(i)q(i,j)\times 0.1 = p(j)q(j,i) \times 0.2 $$
          <br/>
          上式两边扩大5倍，我们改写为
          <br/>
          $$ p(i)q(i,j) \times 0.5 = p(j)q(j,i) \times 1 $$
          <br/>
          看，我们提高了接受率，而细致平稳条件并没有打破！这启发我们可以把细致平稳条件(**) 式中的$\alpha(i,j),\alpha(j,i)$ 同比例放大，使得两数中最大的一个放大到1，这样我们就提高了采样中的跳转接受率。所以我们可以取
          <br/>
          $$ \alpha(i,j) = \min\left\{\frac{p(j)q(j,i)}{p(i)q(i,j)},1\right\} $$
          <br/>
          于是，经过对上述MCMC 采样算法中接受率的微小改造，我们就得到了如下教科书中最常见的 Metropolis-Hastings 算法。
         </p>
         <p>
          <a href="http://cos.name/2013/01/lda-math-%e7%a5%9e%e5%a5%87%e7%9a%84gamma%e5%87%bd%e6%95%b0/mcmc-algo-2/" rel="attachment wp-att-6941">
           <img src="http://cos.name/wp-content/uploads/2013/01/mcmc-algo-2.jpg"/>
          </a>
         </p>
         <p>
          对于分布 $p(x)$,我们构造转移矩阵 $Q’$ 使其满足细致平稳条件
          <br/>
          $$ p(x) Q'(x\rightarrow y) = p(y) Q'(y\rightarrow x) $$
          <br/>
          此处 $x$ 并不要求是一维的，对于高维空间的 $p(\mathbf{x})$，如果满足细致平稳条件
          <br/>
          $$ p(\mathbf{x}) Q'(\mathbf{x}\rightarrow \mathbf{y}) = p(\mathbf{y}) Q'(\mathbf{y}\rightarrow \mathbf{x}) $$
          <br/>
          那么以上的 Metropolis-Hastings 算法一样有效。
         </p>
         <p>
          <strong>
           3.2 Gibbs Sampling
          </strong>
         </p>
         <p>
          对于高维的情形，由于接受率 $\alpha$的存在(通常 $\alpha &lt; 1$), 以上 Metropolis-Hastings 算法的效率不够高。能否找到一个转移矩阵Q使得接受率 $\alpha=1$ 呢？我们先看看二维的情形，假设有一个概率分布 $p(x,y)$, 考察$x$坐标相同的两个点$A(x_1,y_1), B(x_1,y_2)$，我们发现
          <br/>
          \begin{align*}
          <br/>
          p(x_1,y_1)p(y_2|x_1) = p(x_1)p(y_1|x_1)p(y_2|x_1) \\
          <br/>
          p(x_1,y_2)p(y_1|x_1) = p(x_1)p(y_2|x_1)p(y_1|x_1)
          <br/>
          \end{align*}
          <br/>
          所以得到
          <br/>
          \begin{equation}
          <br/>
          \label{gibbs-detailed-balance}
          <br/>
          p(x_1,y_1)p(y_2|x_1) = p(x_1,y_2)p(y_1|x_1)  \quad (***)
          <br/>
          \end{equation}
          <br/>
          即
          <br/>
          $$ p(A)p(y_2|x_1) = p(B)p(y_1|x_1) $$
          <br/>
          基于以上等式，我们发现，在 $x=x_1$ 这条平行于 $y$轴的直线上，如果使用条件分布 $p(y|x_1)$做为任何两个点之间的转移概率，那么任何两个点之间的转移满足细致平稳条件。同样的，如果我们在 $y=y_1$ 这条直线上任意取两个点 $A(x_1,y_1), C(x_2,y_1)$,也有如下等式
          <br/>
          $$ p(A)p(x_2|y_1) = p(C)p(x_1|y_1). $$
         </p>
         <p style="text-align: center;">
          <a href="http://cos.name/2013/01/lda-math-%e7%a5%9e%e5%a5%87%e7%9a%84gamma%e5%87%bd%e6%95%b0/gibbs-transition/" rel="attachment wp-att-6938">
           <img src="http://cos.name/wp-content/uploads/2013/01/gibbs-transition.png"/>
          </a>
          <strong>
           平面上马氏链转移矩阵的构造
          </strong>
         </p>
         <p>
          于是我们可以如下构造平面上任意两点之间的转移概率矩阵Q
          <br/>
          \begin{align*}
          <br/>
          Q(A\rightarrow B) &amp; = p(y_B|x_1) &amp; \text{如果} \quad x_A=x_B=x_1 &amp; \\
          <br/>
          Q(A\rightarrow C) &amp; = p(x_C|y_1) &amp; \text{如果} \quad y_A=y_C=y_1 &amp; \\
          <br/>
          Q(A\rightarrow D) &amp; = 0 &amp; \text{其它} &amp;
          <br/>
          \end{align*}
         </p>
         <p>
          有了如上的转移矩阵 Q, 我们很容易验证对平面上任意两点 $X,Y$, 满足细致平稳条件
          <br/>
          $$ p(X)Q(X\rightarrow Y) = p(Y) Q(Y\rightarrow X) $$
          <br/>
          于是这个二维空间上的马氏链将收敛到平稳分布 $p(x,y)$。而这个算法就称为 Gibbs Sampling 算法,是 Stuart Geman 和Donald Geman 这两兄弟于1984年提出来的，之所以叫做Gibbs Sampling 是因为他们研究了Gibbs random field, 这个算法在现代贝叶斯分析中占据重要位置。
         </p>
         <p>
          <a href="http://cos.name/2013/01/lda-math-%e7%a5%9e%e5%a5%87%e7%9a%84gamma%e5%87%bd%e6%95%b0/gibbs-algo-1/" rel="attachment wp-att-6936">
           <img src="http://cos.name/wp-content/uploads/2013/01/gibbs-algo-1.jpg"/>
          </a>
         </p>
         <p>
          <strong>
           <a href="http://cos.name/2013/01/lda-math-%e7%a5%9e%e5%a5%87%e7%9a%84gamma%e5%87%bd%e6%95%b0/two-stage-gibbs/" rel="attachment wp-att-6919">
            <img src="http://cos.name/wp-content/uploads/2013/01/two-stage-gibbs.png"/>
           </a>
           Gibbs Sampling 算法中的马氏链转移
          </strong>
         </p>
         <p>
          以上采样过程中，如图所示，马氏链的转移只是轮换的沿着坐标轴 $x$轴和$y$轴做转移，于是得到样本 $(x_0,y_0), (x_0,y_1), (x_1,y_1), (x_1,y_2),(x_2,y_2), \cdots $ 马氏链收敛后，最终得到的样本就是 $p(x,y)$ 的样本，而收敛之前的阶段称为 burn-in period。额外说明一下，我们看到教科书上的 Gibbs Sampling 算法大都是坐标轴轮换采样的，但是这其实是不强制要求的。最一般的情形可以是，在$t$时刻，可以在$x$轴和$y$轴之间随机的选一个坐标轴，然后按条件概率做转移，马氏链也是一样收敛的。轮换两个坐标轴只是一种方便的形式。
         </p>
         <p>
          以上的过程我们很容易推广到高维的情形，对于(***) 式，如果$x_1$ 变为多维情形$\mathbf{x_1}$，可以看出推导过程不变，所以细致平稳条件同样是成立的
          <br/>
          \begin{equation}
          <br/>
          \label{gibbs-detailed-balance-n-dimen}
          <br/>
          p(\mathbf{x_1},y_1)p(y_2|\mathbf{x_1}) = p(\mathbf{x_1},y_2)p(y_1|\mathbf{x_1})
          <br/>
          \end{equation}
          <br/>
          此时转移矩阵 Q 由条件分布 $p(y|\mathbf{x_1})$ 定义。上式只是说明了一根坐标轴的情形，和二维情形类似，很容易验证对所有坐标轴都有类似的结论。所以$n$维空间中对于概率分布 $p(x_1,x_2,\cdots, x_n)$ 可以如下定义转移矩阵
         </p>
         <ol>
          <li>
           如果当前状态为$(x_1,x_2,\cdots, x_n)$，马氏链转移的过程中，只能沿着坐标轴做转移。沿着 $x_i$ 这根坐标轴做转移的时候，转移概率由条件概率 $p(x_i|x_1, \cdots, x_{i-1}, x_{i+1}, \cdots, x_n)$ 定义；
          </li>
          <li>
           其它无法沿着单根坐标轴进行的跳转，转移概率都设置为 0。
          </li>
         </ol>
         <p>
          于是我们可以把Gibbs Smapling 算法从采样二维的 $p(x,y)$ 推广到采样$n$ 维的 $p(x_1,x_2,\cdots, x_n)$
         </p>
         <p>
          <a href="http://cos.name/2013/01/lda-math-%e7%a5%9e%e5%a5%87%e7%9a%84gamma%e5%87%bd%e6%95%b0/gibbs-algo-2/" rel="attachment wp-att-6937">
           <img src="http://cos.name/wp-content/uploads/2013/01/gibbs-algo-2.jpg"/>
          </a>
         </p>
         <p>
          以上算法收敛后，得到的就是概率分布$p(x_1,x_2,\cdots, x_n)$的样本，当然这些样本并不独立，但是我们此处要求的是采样得到的样本符合给定的概率分布，并不要求独立。同样的，在以上算法中，坐标轴轮换采样不是必须的，可以在坐标轴轮换中引入随机性，这时候转移矩阵 $Q$ 中任何两个点的转移概率中就会包含坐标轴选择的概率，而在通常的 Gibbs Sampling 算法中，坐标轴轮换是一个确定性的过程，也就是在给定时刻$t$，在一根固定的坐标轴上转移的概率是1。
         </p>
         <div class="wumii-hook">
          <br/>
          <br/>
         </div>
        </div>
        <!-- .entry-content -->
        <footer class="entry-meta">
        </footer>
        <!-- .entry-meta -->
       </article>
       <!-- #post -->
       <nav class="navigation post-navigation" role="navigation">
        <h1 class="screen-reader-text">
         文章导航
        </h1>
        <div class="nav-links">
         <a href="http://cos.name/2013/01/lda-math-beta-dirichlet/" rel="prev">
          <span class="meta-nav">
           ←
          </span>
          LDA-math-认识Beta/Dirichlet分布
         </a>
         <a href="http://cos.name/2013/01/shanghair-salon-jan-2013/" rel="next">
          COS数据分析沙龙第八期（上海，@联合创业办公社）
          <span class="meta-nav">
           →
          </span>
         </a>
        </div>
        <!-- .nav-links -->
       </nav>
       <!-- .navigation -->
       <div class="comments-area" id="comments">
        <h2 class="comments-title">
         《
         <span>
          LDA-math-MCMC 和 Gibbs Sampling
         </span>
         》有77个想法
        </h2>
        <ol class="comment-list">
         <li class="comment even thread-even depth-1 parent" id="comment-3596">
          <article class="comment-body" id="div-comment-3596">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/7630bb173c88e3736477e1febee04426?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://www.lreis.ac.cn" rel="external nofollow">
               刘希亮
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3596">
              <time datetime="2013-01-18T10:18:28+00:00">
               2013/01/18 10:18
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             @rickjin兄，非常好的一篇文章，但似存在一处笔误：
             <br/>
             “假设当前这一代人处在下层、中层、上层的人的比例是概率分布向量 。。。”应该换成“假设当前这一代人处在上层、中层、下层的人的比例是概率分布向量 ”，这样就与转移概率矩阵P对应起来了，要不然两个表的计算结果均为错误，请考虑！
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给刘希亮" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=3596#respond" onclick='return addComment.moveForm( "div-comment-3596", "3596", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment byuser comment-author-rickjin bypostauthor odd alt depth-2" id="comment-3601">
            <article class="comment-body" id="div-comment-3601">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/a2ba84c14342b34f6c0d9f53f3c5639e?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                <a class="url" href="http://weibo.com/rickjin" rel="external nofollow">
                 rickjin
                </a>
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3601">
                <time datetime="2013-01-19T10:27:32+00:00">
                 2013/01/19 10:27
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               谢谢指正，文中有一处笔误。下层、中层、上层的定义在前后文中不一致。 我修正了一下， 主要是把开始处举例中的定义修正了，这样前后文就一致了。
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给rickjin" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=3601#respond" onclick='return addComment.moveForm( "div-comment-3601", "3601", "respond", "6962" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1 parent" id="comment-3598">
          <article class="comment-body" id="div-comment-3598">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/1175a50d690ac99dfb7fed2f5144b151?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              lxduan
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3598">
              <time datetime="2013-01-18T17:32:58+00:00">
               2013/01/18 17:32
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             定理：[细致平稳条件]中的数学推导证明公式重复。楼主是想把第二个等式后的\Sigma^\infty_{i=1}放在\pi(j)后面？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给lxduan" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=3598#respond" onclick='return addComment.moveForm( "div-comment-3598", "3598", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment byuser comment-author-rickjin bypostauthor odd alt depth-2 parent" id="comment-3600">
            <article class="comment-body" id="div-comment-3600">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/a2ba84c14342b34f6c0d9f53f3c5639e?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                <a class="url" href="http://weibo.com/rickjin" rel="external nofollow">
                 rickjin
                </a>
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3600">
                <time datetime="2013-01-19T09:58:21+00:00">
                 2013/01/19 09:58
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               谢谢！你看得真细致， 是个笔误，已经修正了
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给rickjin" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=3600#respond" onclick='return addComment.moveForm( "div-comment-3600", "3600", "respond", "6962" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
            <ol class="children">
             <li class="comment even depth-3" id="comment-3608">
              <article class="comment-body" id="div-comment-3608">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/1175a50d690ac99dfb7fed2f5144b151?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  lxduan
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3608">
                  <time datetime="2013-01-21T11:00:11+00:00">
                   2013/01/21 11:00
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 好文章。期待后续。:)
                </p>
                <p>
                 以前学这些的时候，完全没有去好好理解来龙去脉。
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
            </ol>
            <!-- .children -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-3599">
          <article class="comment-body" id="div-comment-3599">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/a73a41f3c25590d25bff9dde9587f944?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              Random_z
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3599">
              <time datetime="2013-01-19T02:46:51+00:00">
               2013/01/19 02:46
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             忍不了了，写得太好了，呵呵
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给Random_z" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=3599#respond" onclick='return addComment.moveForm( "div-comment-3599", "3599", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-3605">
          <article class="comment-body" id="div-comment-3605">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/8fdb206b328ab47a74c1e143b347ec3d?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              李川宁
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3605">
              <time datetime="2013-01-20T00:10:21+00:00">
               2013/01/20 00:10
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             想问一个问题，能不能举一两个例子什么时候“函数本身计算很困难，但是条件分布”。。
             <br/>
             文章写得很清楚明白，非常直观~~谢谢~~
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给李川宁" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=3605#respond" onclick='return addComment.moveForm( "div-comment-3605", "3605", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-3613">
          <article class="comment-body" id="div-comment-3613">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/1f17acdb58a7db434148a777b9f3c55c?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              bneliao
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3613">
              <time datetime="2013-01-21T12:15:27+00:00">
               2013/01/21 12:15
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             写得真好，原来看LDA老是不明白怎么把条件概率和gibbs sample联系起来的；这篇文章写得很清楚
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给bneliao" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=3613#respond" onclick='return addComment.moveForm( "div-comment-3613", "3613", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1 parent" id="comment-3624">
          <article class="comment-body" id="div-comment-3624">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/fad61878196f82fd7bfbc8085ceb2a3d?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              chu
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3624">
              <time datetime="2013-01-22T08:52:50+00:00">
               2013/01/22 08:52
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             楼主写的太好了，但是关于sampling的收敛少了一些介绍。
             <br/>
             关于gibbs sampling的收敛，可以采用R^统计量。同时，可以多开几个chain进行模拟。判断收敛的时候，应该掐头去尾计算R^
            </p>
            <p>
             关于怎样用gibbs sampling来计算lda的参数可以参考这篇论文
             <br/>
             <a href="http://www.cs.nmsu.edu/~chu/InfDectection/ref/Gregor%20Heinrich_Parameter%20estimation%20for%20text%20analysis.pdf" rel="nofollow">
              http://www.cs.nmsu.edu/~chu/InfDectection/ref/Gregor%20Heinrich_Parameter%20estimation%20for%20text%20analysis.pdf
             </a>
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给chu" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=3624#respond" onclick='return addComment.moveForm( "div-comment-3624", "3624", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment byuser comment-author-rickjin bypostauthor odd alt depth-2 parent" id="comment-3626">
            <article class="comment-body" id="div-comment-3626">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/a2ba84c14342b34f6c0d9f53f3c5639e?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                <a class="url" href="http://weibo.com/rickjin" rel="external nofollow">
                 rickjin
                </a>
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3626">
                <time datetime="2013-01-22T09:33:48+00:00">
                 2013/01/22 09:33
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               谢谢， 关于 MCMC 收敛的检测我确实介绍的不多，这是一个缺陷。 在工程实践中我们更多的靠经验和对数据的观察来指定 Gibbs Sampling 中的 burn-in 的迭代需要多少次。
              </p>
              <p>
               LDA 模型的介绍是我下一个章节的内容
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给rickjin" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=3626#respond" onclick='return addComment.moveForm( "div-comment-3626", "3626", "respond", "6962" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
            <ol class="children">
             <li class="comment byuser comment-author-yihui even depth-3 parent" id="comment-3627">
              <article class="comment-body" id="div-comment-3627">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/1022d8e6ebc94e8f6bca9a86cebe312a?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  <a class="url" href="http://yihui.name" rel="external nofollow">
                   谢益辉
                  </a>
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3627">
                  <time datetime="2013-01-22T14:42:56+00:00">
                   2013/01/22 14:42
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 去年7月我们翻译了Charles Geyer的一篇文章：
                 <a href="http://cos.name/2012/07/mcmc-case-study/" rel="nofollow">
                  http://cos.name/2012/07/mcmc-case-study/
                 </a>
                 这位老大个性很鲜明，他网站上有一个页面讲为什么burn-in不是必要的：
                 <br/>
                 <a href="http://users.stat.umn.edu/~geyer/mcmc/burn.html" rel="nofollow">
                  http://users.stat.umn.edu/~geyer/mcmc/burn.html
                 </a>
                 以及为什么一条链走到黑是正确的：
                 <a href="http://users.stat.umn.edu/~geyer/mcmc/one.html" rel="nofollow">
                  http://users.stat.umn.edu/~geyer/mcmc/one.html
                 </a>
                </p>
                <p>
                 如果我没记错的话，他的一句名言就是关于MCMC到底跑多久：从你给刊物提交论文的时候就开始跑，直到审稿人把审稿意见发回来为止。
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
             <li class="comment byuser comment-author-rickjin bypostauthor odd alt depth-3" id="comment-3629">
              <article class="comment-body" id="div-comment-3629">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/a2ba84c14342b34f6c0d9f53f3c5639e?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  <a class="url" href="http://weibo.com/rickjin" rel="external nofollow">
                   rickjin
                  </a>
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3629">
                  <time datetime="2013-01-22T23:12:27+00:00">
                   2013/01/22 23:12
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 非常感谢老大的专业点评，很受用。不过一条链跑到黑只能是写学术 paper 的做法， 我们在工程上还是要考虑很实际的速度和效率的问题，做 LDA 的时候我们就得考虑每秒钟能处理多少个请求,这时候不得不设置 burn-in
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
             <li class="comment byuser comment-author-yihui even depth-3" id="comment-3631">
              <article class="comment-body" id="div-comment-3631">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/1022d8e6ebc94e8f6bca9a86cebe312a?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  <a class="url" href="http://yihui.name" rel="external nofollow">
                   谢益辉
                  </a>
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3631">
                  <time datetime="2013-01-23T01:50:05+00:00">
                   2013/01/23 01:50
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 嗨，这方面我完全是外行。坐等你后面的文章分享更多的知识和经验，最近这一系列都写得非常赞。
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
            </ol>
            <!-- .children -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-3635">
          <article class="comment-body" id="div-comment-3635">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/6dbb37c50e30111b599d12780fc171e5?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              Digitalpig
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3635">
              <time datetime="2013-01-24T11:41:06+00:00">
               2013/01/24 11:41
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             请问楼主，你是工程上面哪方面的呢？能不能在后面的某篇文章简单介绍一下这些理论和Malkov过程在工程上面的应用么？多谢！
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给Digitalpig" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=3635#respond" onclick='return addComment.moveForm( "div-comment-3635", "3635", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1 parent" id="comment-3835">
          <article class="comment-body" id="div-comment-3835">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/3a533f137f59a2d98f9444828335720d?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://www.cofffeewind.com" rel="external nofollow">
               林风琦
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3835">
              <time datetime="2013-03-19T20:24:45+00:00">
               2013/03/19 20:24
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             请问楼主，马氏链收敛到pai(n)后，X(n), X(n+1), X(n+2)…都是同分布的随机变量，那么这个随机变量是怎样产生的呢？如果是已经稳态收敛了，那么之后用稳态矩阵相乘产生的任何数都应该是稳态了，应该怎样生成平稳分布的样本呢？谢谢楼主！
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给林风琦" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=3835#respond" onclick='return addComment.moveForm( "div-comment-3835", "3835", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment byuser comment-author-rickjin bypostauthor odd alt depth-2 parent" id="comment-3843">
            <article class="comment-body" id="div-comment-3843">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/a2ba84c14342b34f6c0d9f53f3c5639e?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                <a class="url" href="http://weibo.com/rickjin" rel="external nofollow">
                 rickjin
                </a>
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3843">
                <time datetime="2013-03-21T08:29:12+00:00">
                 2013/03/21 08:29
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               马氏链跳转过程中就是采样的过程， 马氏链任何一个时刻 i 到达的状态都 x_i 都是一个样本。 只是要等到 i 足够大( i &gt; K) ， 马氏链收敛到平稳分布后,  那么 x_K, x_{K+1}, ….   这些样本就都是平稳分布的样本。你还得仔细理解一下文章的逻辑 🙂
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给rickjin" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=3843#respond" onclick='return addComment.moveForm( "div-comment-3843", "3843", "respond", "6962" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
            <ol class="children">
             <li class="comment even depth-3" id="comment-3848">
              <article class="comment-body" id="div-comment-3848">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/3a533f137f59a2d98f9444828335720d?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  <a class="url" href="http://www.cofffeewind.com" rel="external nofollow">
                   林风琦
                  </a>
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3848">
                  <time datetime="2013-03-21T11:08:25+00:00">
                   2013/03/21 11:08
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 楼主，“马氏链收敛到平稳分布后, 那么 x_K, x_{K+1}, …. 这些样本就都是平稳分布的样本”，我主要是对这句话不太理解。因为到达平稳分布后，“ x_K, x_{K+1}”这些值都是相等的，因为不管怎样跳转都是平稳分布(固定的值)，固定的值怎么能算是采样呢？谢谢楼主哈~
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
             <li class="comment odd alt depth-3" id="comment-7103">
              <article class="comment-body" id="div-comment-7103">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/6e321149456600e5f4c02cd04bd3a265?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  zhs
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-7103">
                  <time datetime="2016-03-12T23:41:23+00:00">
                   2016/03/12 23:41
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 楼主，一旦收敛后，状态就不在变化了，也就是说xk和xk+1是一样的，我的理解是，如果保证采样多样性，就要从新进行一遍这个过程，也就是说每一次只能产生一个样本点
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
            </ol>
            <!-- .children -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-3849">
          <article class="comment-body" id="div-comment-3849">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/9c3d8f108a94e0c94e2a6f6b56e99345?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              NIRVANAN
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3849">
              <time datetime="2013-03-21T14:53:51+00:00">
               2013/03/21 14:53
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             讲得非常清楚，看完PRML再来看这篇文章，感觉清楚了很多
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给NIRVANAN" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=3849#respond" onclick='return addComment.moveForm( "div-comment-3849", "3849", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1 parent" id="comment-3869">
          <article class="comment-body" id="div-comment-3869">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/dd98db113046f5353410d0c35b609ee3?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              cyzhang
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-3869">
              <time datetime="2013-03-26T09:52:07+00:00">
               2013/03/26 09:52
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             问一个问题:当按照文中介绍的构造方法把Q–&gt;Q’后，还能保证Q’是一个转移矩阵吗？即Q’的每一行加和为1.
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给cyzhang" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=3869#respond" onclick='return addComment.moveForm( "div-comment-3869", "3869", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment byuser comment-author-rickjin bypostauthor even depth-2" id="comment-4193">
            <article class="comment-body" id="div-comment-4193">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/a2ba84c14342b34f6c0d9f53f3c5639e?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                <a class="url" href="http://weibo.com/rickjin" rel="external nofollow">
                 rickjin
                </a>
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-4193">
                <time datetime="2013-05-12T20:54:46+00:00">
                 2013/05/12 20:54
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               Hi, 很抱歉， 那是一个漏洞， 有人和我讨论了。 当 j != i 的时候概率Q'(i, j) 就是文中如上处理， 不过当 j = i 的时候，  Q'(i, i) 应该特殊处理。 应该设置
              </p>
              <p>
               Q'(i, i) = 1- 其它概率之和
              </p>
              <p>
               这样就归一化了概率转移矩阵
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给rickjin" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=4193#respond" onclick='return addComment.moveForm( "div-comment-4193", "4193", "respond", "6962" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-4044">
          <article class="comment-body" id="div-comment-4044">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/57d6c25a3038b76130d32c6de24a8394?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://www.puddingnnn.com" rel="external nofollow">
               pudding
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-4044">
              <time datetime="2013-04-17T16:55:54+00:00">
               2013/04/17 16:55
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             很精彩的讲解~请问楼主对于Gibbs Sampling和Slice Sampling（我想连续采样M个点）的关系怎么看呢，感觉后一个可以用前一个证明的方法推出来的样子……
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给pudding" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=4044#respond" onclick='return addComment.moveForm( "div-comment-4044", "4044", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-4524">
          <article class="comment-body" id="div-comment-4524">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/77e9d91ae36099ac16383e968d6c2225?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              hkx
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-4524">
              <time datetime="2013-07-19T10:40:22+00:00">
               2013/07/19 10:40
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             作者写的是挺详细的，美中不足的是没有举一个实际的例子来用在MCMC,MCMH,Gibbs中，比如在MCMC中，我个人认为，只知道统计意义上的概率分布P（x），而并不知道转移矩阵Q(对应元素为q(i,j)) ，如何推进算法？或者说我的理解有错误。希望作者能够补充举例说明一下。
            </p>
            <p>
             无意中发现这是一个很好的网站，值得收藏。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给hkx" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=4524#respond" onclick='return addComment.moveForm( "div-comment-4524", "4524", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-4655">
          <article class="comment-body" id="div-comment-4655">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/7c6be987a577bebf4a2d17e33ef889dd?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              toughBEE
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-4655">
              <time datetime="2013-08-17T11:27:13+00:00">
               2013/08/17 11:27
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             朋友再来点提议分布的知识就更完整了，我看过的最清晰地MCMC，楼主厉害。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给toughBEE" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=4655#respond" onclick='return addComment.moveForm( "div-comment-4655", "4655", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-4656">
          <article class="comment-body" id="div-comment-4656">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/08e45e93752ffa9125ee1a50da9ed88d?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              suhuijiewu
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-4656">
              <time datetime="2013-08-17T14:12:49+00:00">
               2013/08/17 14:12
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             实际问题中条件概率是怎么计算的啊，是已知的吗？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给suhuijiewu" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=4656#respond" onclick='return addComment.moveForm( "div-comment-4656", "4656", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-4660">
          <article class="comment-body" id="div-comment-4660">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/e0cf0f4ecab7a64b40158d95a1b5e68e?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              lee
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-4660">
              <time datetime="2013-08-18T16:32:56+00:00">
               2013/08/18 16:32
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             在3.2中，为什么Q(A-&gt;D)=0？这个看得不太懂~
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给lee" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=4660#respond" onclick='return addComment.moveForm( "div-comment-4660", "4660", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-4661">
          <article class="comment-body" id="div-comment-4661">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/e0cf0f4ecab7a64b40158d95a1b5e68e?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              lee
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-4661">
              <time datetime="2013-08-18T16:40:13+00:00">
               2013/08/18 16:40
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             哦~明白了，是我们使Q(A-&gt;D)=0的，不好意思，一下子没明白过来~
             <br/>
             PS：楼上的问题可以不用回答我啦~谢谢你的讲解，很不错~
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给lee" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=4661#respond" onclick='return addComment.moveForm( "div-comment-4661", "4661", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1 parent" id="comment-4733">
          <article class="comment-body" id="div-comment-4733">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/1374894974" rel="external nofollow">
               lei_gao
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-4733">
              <time datetime="2013-08-28T16:42:50+00:00">
               2013/08/28 16:42
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             @rickjin兄请问，在Gibbs采样当中，最后形成的样本是 (x0,y0),(x0,y1),(x1,y1),(x1,y2),(x2,y2)…?还是 (x0,y0),(x1,y1),(x2,y2)？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给lei_gao" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=4733#respond" onclick='return addComment.moveForm( "div-comment-4733", "4733", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment even depth-2 parent" id="comment-4751">
            <article class="comment-body" id="div-comment-4751">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                <a class="url" href="http://www.renren.com/profile.do?id=227138414" rel="external nofollow">
                 叶锦涛
                </a>
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-4751">
                <time datetime="2013-08-31T15:42:39+00:00">
                 2013/08/31 15:42
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               前面的 (x0,y0),(x0,y1),(x1,y1),(x1,y2),(x2,y2)…都是为了到达稳态分布前做的采样，目的是通过这样的迭代最后在稳态分布后能够继续采样。如果经过n次迭代(x0,y0),(x1,y1),(x2,y2)…(xn, yn)到达了稳态分布，那么这时的一次采样（xn, yn)就是在我们需要的概率分布上的采样，但是对于一次这样的迭代，由于（xn, yn)和（xn+1, yn+1)不互相独立。所以要采样出第二个样本，还是需要重新这样来一次迭代。至于在每次迭代后，你是将（xn, yn)还是（xn+k, yn+k)作为一次采样的样本都无所谓，因为已经到了稳态概率分布。而不同的迭代取的n+k可以不一样，因为他们之间是互相独立的
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给叶锦涛" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=4751#respond" onclick='return addComment.moveForm( "div-comment-4751", "4751", "respond", "6962" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
            <ol class="children">
             <li class="comment odd alt depth-3" id="comment-4807">
              <article class="comment-body" id="div-comment-4807">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/7ca4300f9f78d15456b9de62adc43252?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  wwh05022
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-4807">
                  <time datetime="2013-09-06T10:08:53+00:00">
                   2013/09/06 10:08
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 叶兄，
                 <br/>
                 1）如何判断第一次迭代到达稳态分布？
                 <br/>
                 2）请问你所谓的第二次迭代如何实现？
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
            </ol>
            <!-- .children -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1 parent" id="comment-4750">
          <article class="comment-body" id="div-comment-4750">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://www.renren.com/profile.do?id=227138414" rel="external nofollow">
               叶锦涛
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-4750">
              <time datetime="2013-08-31T15:31:11+00:00">
               2013/08/31 15:31
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             问出这种问题有点无语啊
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给叶锦涛" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=4750#respond" onclick='return addComment.moveForm( "div-comment-4750", "4750", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment odd alt depth-2" id="comment-6269">
            <article class="comment-body" id="div-comment-6269">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/54d9df19a4fcf1615b615c9da6860c9f?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                sty1882
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-6269">
                <time datetime="2014-10-09T04:51:52+00:00">
                 2014/10/09 04:51
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               你好，你是不是可以以你的理解把这个问题通俗的讲解一下呢，这也是我的困惑所在。
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给sty1882" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=6269#respond" onclick='return addComment.moveForm( "div-comment-6269", "6269", "respond", "6962" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1 parent" id="comment-4804">
          <article class="comment-body" id="div-comment-4804">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/7ca4300f9f78d15456b9de62adc43252?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              wwh05022
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-4804">
              <time datetime="2013-09-06T08:38:22+00:00">
               2013/09/06 08:38
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             您好，版主
             <br/>
             咨询一下，不知道我是否没有看懂，如果x1-xn 都互相独立， 那你这个Gibbs采样还有没有意义
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给wwh05022" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=4804#respond" onclick='return addComment.moveForm( "div-comment-4804", "4804", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment odd alt depth-2" id="comment-4805">
            <article class="comment-body" id="div-comment-4805">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/7ca4300f9f78d15456b9de62adc43252?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                wwh05022
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-4805">
                <time datetime="2013-09-06T08:51:40+00:00">
                 2013/09/06 08:51
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               不好意思，脑子一时搞不清楚，p(x i |x 1 ,⋯,x i−1 ,x i+1 ,⋯,x n )  如果x1-xn都互不相关的话，不是p(x i |x 1 ,⋯,x i−1 ,x i+1 ,⋯,x n ) = p(xi). 现在我在解决的问题是这样的，现在有n维的gauss分布作为输入，而又有m维的输出，那么每一维的输出可以看作是p(x1,…xn)的函数.我是否可以用Gibbs采样去模拟这个过程吗，如果可以，请指教，请恕在下愚钝，谢谢
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给wwh05022" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=4805#respond" onclick='return addComment.moveForm( "div-comment-4805", "4805", "respond", "6962" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-4834">
          <article class="comment-body" id="div-comment-4834">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/51ce2e16780cc45e25aeb876b6e66cd0?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              伍佑
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-4834">
              <time datetime="2013-09-11T17:45:28+00:00">
               2013/09/11 17:45
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             写得很棒的一个系列文章。
             <br/>
             期待楼主把pdf发出来，供珍藏，哈哈。
             <br/>
             原来对这mcmc这一块一知半解的，感谢你的提炼，
             <br/>
             让我有了更准确的理解。
             <br/>
             如果可以，楼主能不能把这个系列的文章pdf发给我啊，
             <br/>
             <a href="mailto:friday_wu@126.com">
              friday_wu@126.com
             </a>
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给伍佑" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=4834#respond" onclick='return addComment.moveForm( "div-comment-4834", "4834", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-4842">
          <article class="comment-body" id="div-comment-4842">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/8d90aff4719b9ef62fb0a7acf3231dd9?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              yy
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-4842">
              <time datetime="2013-09-12T15:53:34+00:00">
               2013/09/12 15:53
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             Algorithm 8中的第2步的第6小步，x2(t)是否应为x2(t+1)呢？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给yy" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=4842#respond" onclick='return addComment.moveForm( "div-comment-4842", "4842", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-5026">
          <article class="comment-body" id="div-comment-5026">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://www.baidu.com/p/hajion" rel="external nofollow">
               hajion
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5026">
              <time datetime="2013-11-03T23:13:15+00:00">
               2013/11/03 23:13
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             算法5上面的“马氏链转移和接受概率”图中拒绝转移的时候箭头指向了x_0，但是算法5里拒绝的话是保持上一次的状态X_{t+1}=x_t，这是为什么呢？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给hajion" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5026#respond" onclick='return addComment.moveForm( "div-comment-5026", "5026", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-5098">
          <article class="comment-body" id="div-comment-5098">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/1732489362" rel="external nofollow">
               LiyiStat
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5098">
              <time datetime="2013-11-20T14:53:07+00:00">
               2013/11/20 14:53
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             赞一个~简单易懂。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给LiyiStat" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5098#respond" onclick='return addComment.moveForm( "div-comment-5098", "5098", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-5111">
          <article class="comment-body" id="div-comment-5111">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/1748393383" rel="external nofollow">
               --Chica
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5111">
              <time datetime="2013-11-22T06:58:35+00:00">
               2013/11/22 06:58
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             超赞！！！！！真的写得特别好
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给--Chica" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5111#respond" onclick='return addComment.moveForm( "div-comment-5111", "5111", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-5133">
          <article class="comment-body" id="div-comment-5133">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/8cce3716e5a6e4c7c504c1b1700b87cf?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              DL_Researcher
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5133">
              <time datetime="2013-11-25T16:42:57+00:00">
               2013/11/25 16:42
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             博主您好！请问实践中如何知道Gibbs sampling中的那些条件概率呢？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给DL_Researcher" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5133#respond" onclick='return addComment.moveForm( "div-comment-5133", "5133", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-5141">
          <article class="comment-body" id="div-comment-5141">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/b261826e971714cb555292a1f1a61f41?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              DPM
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5141">
              <time datetime="2013-11-29T11:41:56+00:00">
               2013/11/29 11:41
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             跪舔…..
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给DPM" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5141#respond" onclick='return addComment.moveForm( "div-comment-5141", "5141", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-5150">
          <article class="comment-body" id="div-comment-5150">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://t.qq.com/czc30114" rel="external nofollow">
               七月雪
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5150">
              <time datetime="2013-12-04T10:19:05+00:00">
               2013/12/04 10:19
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             博主是jinzhihui吗？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给七月雪" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5150#respond" onclick='return addComment.moveForm( "div-comment-5150", "5150", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-5157">
          <article class="comment-body" id="div-comment-5157">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/2254998951" rel="external nofollow">
               变相怪杰cdy
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5157">
              <time datetime="2013-12-06T11:34:11+00:00">
               2013/12/06 11:34
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             很不错，模拟随机数的生成还是在很多方面要用到的
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给变相怪杰cdy" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5157#respond" onclick='return addComment.moveForm( "div-comment-5157", "5157", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-5218">
          <article class="comment-body" id="div-comment-5218">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/likaidlut" rel="external nofollow">
               请叫我一血帝
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5218">
              <time datetime="2014-01-01T14:54:17+00:00">
               2014/01/01 14:54
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给请叫我一血帝" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5218#respond" onclick='return addComment.moveForm( "div-comment-5218", "5218", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1 parent" id="comment-5278">
          <article class="comment-body" id="div-comment-5278">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/86c46fcf99e5bd836e301e883135e588?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              dcd
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5278">
              <time datetime="2014-01-16T22:06:10+00:00">
               2014/01/16 22:06
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             到达平稳分布后，“ x_K, x_{K+1}”所服从的分布是相同的，具体每一步转移到那个状态值，还是有随机的，就是说马氏链是随机序列，这也正是对平稳分布的随机取样，只不过是达到平稳分布后转移概率矩阵已不再变化而已。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给dcd" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5278#respond" onclick='return addComment.moveForm( "div-comment-5278", "5278", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment odd alt depth-2" id="comment-6268">
            <article class="comment-body" id="div-comment-6268">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/54d9df19a4fcf1615b615c9da6860c9f?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                sty1882
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-6268">
                <time datetime="2014-10-09T04:50:01+00:00">
                 2014/10/09 04:50
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               你好，和林风琦的问题一样还是不明白。。。
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给sty1882" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=6268#respond" onclick='return addComment.moveForm( "div-comment-6268", "6268", "respond", "6962" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-5305">
          <article class="comment-body" id="div-comment-5305">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/1780004973" rel="external nofollow">
               zdsfwy
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5305">
              <time datetime="2014-02-03T10:53:39+00:00">
               2014/02/03 10:53
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             好文章！终于一切都清晰了。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给zdsfwy" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5305#respond" onclick='return addComment.moveForm( "div-comment-5305", "5305", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-5320">
          <article class="comment-body" id="div-comment-5320">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/owensy" rel="external nofollow">
               Owen_sy__Cherish
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5320">
              <time datetime="2014-02-08T03:59:21+00:00">
               2014/02/08 03:59
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             cool
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给Owen_sy__Cherish" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5320#respond" onclick='return addComment.moveForm( "div-comment-5320", "5320", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-5321">
          <article class="comment-body" id="div-comment-5321">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/owensy" rel="external nofollow">
               Owen_sy__Cherish
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5321">
              <time datetime="2014-02-08T04:00:21+00:00">
               2014/02/08 04:00
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给Owen_sy__Cherish" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5321#respond" onclick='return addComment.moveForm( "div-comment-5321", "5321", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-5324">
          <article class="comment-body" id="div-comment-5324">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://t.qq.com/dukaht" rel="external nofollow">
               诺敏
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5324">
              <time datetime="2014-02-08T19:22:08+00:00">
               2014/02/08 19:22
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             简单明了的介绍，理解就是入门了。楼主能把复杂的事情的说成简单的是高手
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给诺敏" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5324#respond" onclick='return addComment.moveForm( "div-comment-5324", "5324", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-5349">
          <article class="comment-body" id="div-comment-5349">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://www.renren.com/profile.do?id=264804441" rel="external nofollow">
               迟洪量
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5349">
              <time datetime="2014-02-13T15:46:25+00:00">
               2014/02/13 15:46
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             见过最简单关于马尔科夫链和蒙特卡洛介绍
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给迟洪量" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5349#respond" onclick='return addComment.moveForm( "div-comment-5349", "5349", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-5370">
          <article class="comment-body" id="div-comment-5370">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/2094550821" rel="external nofollow">
               我为什么爱柠檬汁
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5370">
              <time datetime="2014-02-20T20:28:16+00:00">
               2014/02/20 20:28
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             写的很详细啊！Algorithm8 里6. X2的指数应该是 t+1 吧？楼主可否再讲讲别的蒙特卡罗方法，比如silce sampling？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给我为什么爱柠檬汁" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5370#respond" onclick='return addComment.moveForm( "div-comment-5370", "5370", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1 parent" id="comment-5437">
          <article class="comment-body" id="div-comment-5437">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/1997763905" rel="external nofollow">
               疯狂的拖鞋
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5437">
              <time datetime="2014-03-13T13:36:16+00:00">
               2014/03/13 13:36
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             0.28*0.286=0.08008，0.15*0.489=0.07335。不相等，不符合细致平稳条件。。。怎么会这样？我哪算错了
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给疯狂的拖鞋" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5437#respond" onclick='return addComment.moveForm( "div-comment-5437", "5437", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment odd alt depth-2" id="comment-5657">
            <article class="comment-body" id="div-comment-5657">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/b3f2a80ea665dfabd0c070e191a6316d?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                lianjx
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5657">
                <time datetime="2014-05-02T23:31:21+00:00">
                 2014/05/02 23:31
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               细致平稳条件是达到稳态的充分条件，并不是必要条件。
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给lianjx" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5657#respond" onclick='return addComment.moveForm( "div-comment-5657", "5657", "respond", "6962" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-5512">
          <article class="comment-body" id="div-comment-5512">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/b66ed78504dd564710f403723302b279?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              ddd
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5512">
              <time datetime="2014-04-10T23:05:42+00:00">
               2014/04/10 23:05
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             写的真好啊！
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给ddd" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5512#respond" onclick='return addComment.moveForm( "div-comment-5512", "5512", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-5602">
          <article class="comment-body" id="div-comment-5602">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/3bf27e7c6476337e2202ee0adb4a1a31?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/1663647441" rel="external nofollow">
               我的中国梦
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5602">
              <time datetime="2014-04-26T22:22:02+00:00">
               2014/04/26 22:22
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             忍不住点赞
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给我的中国梦" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5602#respond" onclick='return addComment.moveForm( "div-comment-5602", "5602", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-5727">
          <article class="comment-body" id="div-comment-5727">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/2ffbaeed5929d0a9db5f32e4bc721b02?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              suruoxi
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5727">
              <time datetime="2014-05-17T20:25:47+00:00">
               2014/05/17 20:25
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             写得非常好，在网上很少看到这样精彩的数学基础文章。尤其是对于我这一类的工科学生，很多文章的介绍太简单了，这篇就非常棒
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给suruoxi" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5727#respond" onclick='return addComment.moveForm( "div-comment-5727", "5727", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-5773">
          <article class="comment-body" id="div-comment-5773">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/coffing" rel="external nofollow">
               coffing
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5773">
              <time datetime="2014-05-26T15:55:48+00:00">
               2014/05/26 15:55
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             很吃力。。。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给coffing" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5773#respond" onclick='return addComment.moveForm( "div-comment-5773", "5773", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-5826">
          <article class="comment-body" id="div-comment-5826">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/3191790443" rel="external nofollow">
               苗大富
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-5826">
              <time datetime="2014-06-01T13:43:37+00:00">
               2014/06/01 13:43
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             写的很好，希望可以多出几篇
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给苗大富" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=5826#respond" onclick='return addComment.moveForm( "div-comment-5826", "5826", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-6215">
          <article class="comment-body" id="div-comment-6215">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/1922690411" rel="external nofollow">
               Imgou
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-6215">
              <time datetime="2014-09-16T17:26:39+00:00">
               2014/09/16 17:26
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             对Gibbs抽样有了更新的理解
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给Imgou" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=6215#respond" onclick='return addComment.moveForm( "div-comment-6215", "6215", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-6275">
          <article class="comment-body" id="div-comment-6275">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/hustpast" rel="external nofollow">
               hhuster
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-6275">
              <time datetime="2014-10-12T00:08:54+00:00">
               2014/10/12 00:08
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             写的不错
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给hhuster" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=6275#respond" onclick='return addComment.moveForm( "div-comment-6275", "6275", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-6349">
          <article class="comment-body" id="div-comment-6349">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/2694569357" rel="external nofollow">
               辉_xy斥方遒
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-6349">
              <time datetime="2014-11-08T12:14:08+00:00">
               2014/11/08 12:14
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             马氏链收敛之后，采样的样本其实就是那个平稳分布的样本。怎么确定这个平稳分布就是原来那个需要采样的分布呢？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给辉_xy斥方遒" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=6349#respond" onclick='return addComment.moveForm( "div-comment-6349", "6349", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-6482">
          <article class="comment-body" id="div-comment-6482">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/1666235750" rel="external nofollow">
               fridaywuxinqi
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-6482">
              <time datetime="2014-12-29T20:10:40+00:00">
               2014/12/29 20:10
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             几年前看过一遍，现在再看看。深入浅出，大赞！
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给fridaywuxinqi" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=6482#respond" onclick='return addComment.moveForm( "div-comment-6482", "6482", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-6551">
          <article class="comment-body" id="div-comment-6551">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/bfeb2753691eeabea63fa79739c613e8?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://t.qq.com/a1142317698" rel="external nofollow">
               蓝琬迩
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-6551">
              <time datetime="2015-01-23T11:55:04+00:00">
               2015/01/23 11:55
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             真是MCMC中一篇最好的文章，大赞大赞！另外，楼主你有没有考虑过Gibbs 采样得到的样本之间的自相关性问题。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给蓝琬迩" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=6551#respond" onclick='return addComment.moveForm( "div-comment-6551", "6551", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="pingback even thread-odd thread-alt depth-1" id="comment-6643">
          <div class="comment-body">
           Pingback：
           <a class="url" href="https://danqing0703.wordpress.com/2015/03/24/%e8%b4%9d%e5%8f%b6%e6%96%af%e7%9b%b8%e5%85%b3%e8%b5%84%e6%96%99/" rel="external nofollow">
            贝叶斯相关资料 | Danqing's personal website
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-6814">
          <article class="comment-body" id="div-comment-6814">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/913fe1107579bb0c99e067370e685aa7?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              wuyh
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-6814">
              <time datetime="2015-08-17T16:18:23+00:00">
               2015/08/17 16:18
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             能公布一下你的参考资料吗
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给wuyh" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=6814#respond" onclick='return addComment.moveForm( "div-comment-6814", "6814", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="pingback even thread-odd thread-alt depth-1" id="comment-6821">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://javaxwl.sinaapp.com/2015/08/20/%e4%bb%8e%e9%9a%8f%e6%9c%ba%e8%bf%87%e7%a8%8b%e5%88%b0%e9%a9%ac%e5%b0%94%e7%a7%91%e5%a4%ab%e9%93%be%e8%92%99%e7%89%b9%e5%8d%a1%e6%b4%9b%e6%96%b9%e6%b3%95/" rel="external nofollow">
            从随机过程到马尔科夫链蒙特卡洛方法 | DreamCore
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-6978">
          <article class="comment-body" id="div-comment-6978">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/9975f06333310ea0e6524e01afe992c2?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://t.hengwei.me" rel="external nofollow">
               lengerfulluse
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-6978">
              <time datetime="2015-12-07T16:32:55+00:00">
               2015/12/07 16:32
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             深入浅出的好文章，感谢。
             <br/>
             有个问题：通过引入接受率来满足细致平稳分布条件。具体在算法6（Metropolis Hastings）中接受率需要求min{equation, 1} 中的equation分母部分在具体算法中怎么求？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给lengerfulluse" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=6978#respond" onclick='return addComment.moveForm( "div-comment-6978", "6978", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-6980">
          <article class="comment-body" id="div-comment-6980">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/424f8cf91e9118ce4f547cdf6a2b7bde?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              林大勇
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-6980">
              <time datetime="2015-12-08T15:52:59+00:00">
               2015/12/08 15:52
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             非常谢谢！！   讲的十分清晰～
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给林大勇" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=6980#respond" onclick='return addComment.moveForm( "div-comment-6980", "6980", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-6981">
          <article class="comment-body" id="div-comment-6981">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/424f8cf91e9118ce4f547cdf6a2b7bde?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              林大勇
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-6981">
              <time datetime="2015-12-08T16:02:53+00:00">
               2015/12/08 16:02
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             您好！能不能发一份PDF版的给我呢，非常谢谢您～  我的邮箱是164532640@qq.com
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给林大勇" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=6981#respond" onclick='return addComment.moveForm( "div-comment-6981", "6981", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-6993">
          <article class="comment-body" id="div-comment-6993">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/9639010b7ac3d5341934a90155c803e1?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              2889058175
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-6993">
              <time datetime="2015-12-15T18:09:35+00:00">
               2015/12/15 18:09
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             深入浅出的讲解！赞一个。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给2889058175" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=6993#respond" onclick='return addComment.moveForm( "div-comment-6993", "6993", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1 parent" id="comment-6994">
          <article class="comment-body" id="div-comment-6994">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/9639010b7ac3d5341934a90155c803e1?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              2889058175
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-6994">
              <time datetime="2015-12-15T18:35:24+00:00">
               2015/12/15 18:35
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             这篇讲义的参考文献能列一下吗？以便更细致的阅读某些细节。谢谢楼主richjin !
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给2889058175" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=6994#respond" onclick='return addComment.moveForm( "div-comment-6994", "6994", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment even depth-2 parent" id="comment-7059">
            <article class="comment-body" id="div-comment-7059">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/1aac2e6fca201a009d6ccc4af2833228?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                work
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-7059">
                <time datetime="2016-02-05T13:33:36+00:00">
                 2016/02/05 13:33
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               有一个问题：
              </p>
              <p>
               求取p(x)采样的算法5 （MCMC算法）中，用到了p(y)。
              </p>
              <p>
               可是，p(.)不是难以计算(才使用MCMC来采样的）吗？
              </p>
              <p>
               肯请各位回答一下。谢谢了！
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给work" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=7059#respond" onclick='return addComment.moveForm( "div-comment-7059", "7059", "respond", "6962" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
            <ol class="children">
             <li class="comment odd alt depth-3" id="comment-7066">
              <article class="comment-body" id="div-comment-7066">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/cac0c1174296fa548597c0b7a53c702a?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  rtddd
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-7066">
                  <time datetime="2016-02-17T17:51:49+00:00">
                   2016/02/17 17:51
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 p(x)并不难计算，难计算的是p(x)的期望，因为要计算积分
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
            </ol>
            <!-- .children -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-7119">
          <article class="comment-body" id="div-comment-7119">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/1f92d9ec2d2fd792284d56960d394282?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              hanyong
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-7119">
              <time datetime="2016-03-24T23:00:18+00:00">
               2016/03/24 23:00
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             你好，关于吉布斯采样的过程能不能举例具体的简单的例子
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给hanyong" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=7119#respond" onclick='return addComment.moveForm( "div-comment-7119", "7119", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-7120">
          <article class="comment-body" id="div-comment-7120">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/1f92d9ec2d2fd792284d56960d394282?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              hanyong
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-7120">
              <time datetime="2016-03-25T09:04:02+00:00">
               2016/03/25 09:04
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             就是怎么由条件概率求出更新值得这一过程我没看明白
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给hanyong" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=7120#respond" onclick='return addComment.moveForm( "div-comment-7120", "7120", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-7136">
          <article class="comment-body" id="div-comment-7136">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/f6a3d013a9cff02fb3f899583dfbeb8c?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              citeace
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#comment-7136">
              <time datetime="2016-04-05T22:48:52+00:00">
               2016/04/05 22:48
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             您好，您的很多文章都写非常好，这篇也是简单易懂。如果方便的话，您能否把您在这个网站发的文章给我发一份呢？我想打印下来仔细研读。我的邮箱是943273821@qq.com，谢谢哈。。。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给citeace" class="comment-reply-link" href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/?replytocom=7136#respond" onclick='return addComment.moveForm( "div-comment-7136", "7136", "respond", "6962" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
        </ol>
        <!-- .comment-list -->
        <div class="comment-respond" id="respond">
         <h3 class="comment-reply-title" id="reply-title">
          发表评论
          <small>
           <a href="http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/#respond" id="cancel-comment-reply-link" rel="nofollow" style="display:none;">
            取消回复
           </a>
          </small>
         </h3>
         <form action="http://cos.name/wp-comments-post.php" class="comment-form" id="commentform" method="post" novalidate="">
          <p class="comment-notes">
           <span id="email-notes">
            电子邮件地址不会被公开。
           </span>
           必填项已用
           <span class="required">
            *
           </span>
           标注
          </p>
          <p class="comment-form-comment">
           <label for="comment">
            评论
           </label>
           <textarea aria-required="true" cols="45" id="comment" maxlength="65525" name="comment" required="required" rows="8">
           </textarea>
          </p>
          <p class="comment-form-author">
           <label for="author">
            姓名
            <span class="required">
             *
            </span>
           </label>
          </p>
          <p class="comment-form-email">
           <label for="email">
            电子邮件
            <span class="required">
             *
            </span>
           </label>
          </p>
          <p class="comment-form-url">
           <label for="url">
            站点
           </label>
          </p>
          <p class="form-submit">
          </p>
          <p style="display: none;">
          </p>
          <p style="display: none;">
          </p>
         </form>
        </div>
        <!-- #respond -->
       </div>
       <!-- #comments -->
      </div>
      <!-- #content -->
     </div>
     <!-- #primary -->
     <div class="sidebar-container" id="tertiary" role="complementary">
      <div class="sidebar-inner">
       <div class="widget-area">
        <aside class="widget widget_text" id="text-3">
         <h3 class="widget-title">
          关注统计之都
         </h3>
         <div class="textwidget">
          <ul>
           <li>
            新浪微博
            <a href="http://weibo.com/cosname">
             @统计之都
            </a>
           </li>
           <li>
            人人网
            <a href="http://renren.com/cosname">
             @统计之都
            </a>
           </li>
           <li>
            Twitter
            <a href="http://twitter.com/cos_name">
             @cos_name
            </a>
           </li>
          </ul>
         </div>
        </aside>
        <aside class="widget widget_text" id="text-6">
         <h3 class="widget-title">
          微信公众平台
         </h3>
         <div class="textwidget">
          <img src="http://cos.name/wp-content/uploads/2013/04/qrcode-8cm.jpg"/>
          <p style="font-size:12px;margin-left:15px">
           微信号 CapStat
          </p>
          <p>
           我们将第一时间向您推送主站和论坛的精彩内容，以及统计之都的线下活动、竞赛、培训和会议信息。
          </p>
         </div>
        </aside>
        <aside class="widget widget_text" id="text-8">
         <h3 class="widget-title">
          站内导航
         </h3>
         <div class="textwidget">
          <ul>
           <li class="page_item">
            <a href="http://cos.name/cn/">
             中文论坛
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/videos/">
             视频
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/salon/">
             统计沙龙
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/books/">
             图书出版
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/training/">
             教育培训
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/about/">
             关于我们
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/donate/">
             捐赠
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/chinar/">
             R语言会议
            </a>
           </li>
          </ul>
         </div>
        </aside>
        <aside class="widget widget_links" id="linkcat-2">
         <h3 class="widget-title">
          友情链接
         </h3>
         <ul class="xoxo blogroll">
          <li>
           <a href="http://stat.ruc.edu.cn" target="_blank" title="中国人民大学统计学院网站">
            中国人民大学统计学院
           </a>
          </li>
          <li>
           <a href="http://rucdmc.net">
            中国人民大学数据挖掘中心
           </a>
          </li>
          <li>
           <a href="http://birc.gsm.pku.edu.cn/" target="_blank">
            北京大学商务智能研究中心
           </a>
          </li>
          <li>
           <a href="http://sam.cufe.edu.cn/" target="_blank" title="中央财经大学统计与数学学院网站">
            中央财经大学统计与数学学院
           </a>
          </li>
          <li>
           <a href="http://tjx.cueb.edu.cn/" target="_blank" title="首都经济贸易大学统计学院网站">
            首经贸统计学院
           </a>
          </li>
          <li>
           <a href="http://www.shookr.com/">
            数客网大数据社区
           </a>
          </li>
          <li>
           <a href="http://www.xueqing.tv/" target="_blank" title="数据科学在线学习平台">
            雪晴数据网
           </a>
          </li>
          <li>
           <a href="http://iera.name/" target="_blank" title="IERA是一个旨在普及、传播和增进工业工程知识的非营利性网站">
            IERA（直通IE）
           </a>
          </li>
         </ul>
        </aside>
        <aside class="widget widget_categories" id="categories-2">
         <h3 class="widget-title">
          全部分类
         </h3>
         <label class="screen-reader-text" for="cat">
          全部分类
         </label>
         <select class="postform" id="cat" name="cat">
          <option value="-1">
           选择分类目录
          </option>
          <option class="level-0" value="925">
           cos访谈  (4)
          </option>
          <option class="level-0" value="659">
           图书出版  (5)
          </option>
          <option class="level-0" value="379">
           数学方法  (14)
          </option>
          <option class="level-1" value="381">
           分析与代数  (1)
          </option>
          <option class="level-1" value="380">
           概率论  (9)
          </option>
          <option class="level-1" value="382">
           随机过程  (5)
          </option>
          <option class="level-0" value="210">
           数据分析  (81)
          </option>
          <option class="level-1" value="203">
           多元统计  (3)
          </option>
          <option class="level-1" value="42">
           数据挖掘与机器学习  (42)
          </option>
          <option class="level-1" value="36">
           生物与医学统计  (17)
          </option>
          <option class="level-1" value="35">
           计量经济学  (4)
          </option>
          <option class="level-1" value="296">
           金融统计  (3)
          </option>
          <option class="level-1" value="303">
           风险精算  (7)
          </option>
          <option class="level-0" value="177">
           模型专题  (15)
          </option>
          <option class="level-1" value="38">
           回归分析  (10)
          </option>
          <option class="level-1" value="41">
           时间序列  (2)
          </option>
          <option class="level-0" value="784">
           每周精选  (24)
          </option>
          <option class="level-1" value="183">
           可视化  (9)
          </option>
          <option class="level-0" value="967">
           沙龙纪要  (3)
          </option>
          <option class="level-0" value="18">
           经典理论  (46)
          </option>
          <option class="level-1" value="37">
           抽样调查  (3)
          </option>
          <option class="level-1" value="4">
           统计推断  (26)
          </option>
          <option class="level-1" value="236">
           试验设计  (7)
          </option>
          <option class="level-1" value="39">
           非参数统计  (3)
          </option>
          <option class="level-0" value="1">
           统计之都  (279)
          </option>
          <option class="level-1" value="884">
           中国R会议  (2)
          </option>
          <option class="level-1" value="885">
           中国R语言会议  (5)
          </option>
          <option class="level-1" value="446">
           出国留学  (3)
          </option>
          <option class="level-1" value="179">
           推荐文章  (90)
          </option>
          <option class="level-1" value="3">
           新闻通知  (75)
          </option>
          <option class="level-1" value="263">
           统计刊物  (10)
          </option>
          <option class="level-1" value="174">
           网站导读  (40)
          </option>
          <option class="level-1" value="204">
           职业事业  (51)
          </option>
          <option class="level-1" value="213">
           高校课堂  (9)
          </option>
          <option class="level-0" value="178">
           统计计算  (28)
          </option>
          <option class="level-1" value="40">
           优化与模拟  (15)
          </option>
          <option class="level-1" value="43">
           贝叶斯方法  (6)
          </option>
          <option class="level-0" value="378">
           软件应用  (116)
          </option>
          <option class="level-1" value="44">
           统计图形  (36)
          </option>
          <option class="level-1" value="110">
           统计软件  (83)
          </option>
         </select>
        </aside>
        <aside class="widget widget_recent_comments" id="recent-comments-2">
         <h3 class="widget-title">
          最新评论
         </h3>
         <ul id="recentcomments">
          <li class="recentcomments">
           <span class="comment-author-link">
            fineboom
           </span>
           发表在《
           <a href="http://cos.name/2016/06/use-shiny-fleetly-set-up-visual-prototype-system/#comment-7317">
            利用shiny包快速搭建可视化原型系统
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            胡家新
           </span>
           发表在《
           <a href="http://cos.name/2016/06/r%e8%af%ad%e5%8d%83%e5%af%bb%e7%ac%ac%e4%b8%89%e6%9c%9f%ef%bc%9a%e5%bc%a0%e6%97%a0%e5%bf%8c%e7%a9%b6%e7%ab%9f%e7%88%b1%e8%b0%81%ef%bc%9f/#comment-7316">
            R语千寻第三期：张无忌究竟爱谁？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            <a class="url" href="http://www.zijiacha.com/category.php?id=6" rel="external nofollow">
             南糯山普洱茶
            </a>
           </span>
           发表在《
           <a href="http://cos.name/2016/06/r%e8%af%ad%e5%8d%83%e5%af%bb%e7%ac%ac%e4%b8%89%e6%9c%9f%ef%bc%9a%e5%bc%a0%e6%97%a0%e5%bf%8c%e7%a9%b6%e7%ab%9f%e7%88%b1%e8%b0%81%ef%bc%9f/#comment-7315">
            R语千寻第三期：张无忌究竟爱谁？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            J
           </span>
           发表在《
           <a href="http://cos.name/2016/05/value-of-the-reputation-from-the-data/#comment-7314">
            数据告诉你：高信誉的卖家应该收高价，还是收低价？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            <a class="url" href="http://gg" rel="external nofollow">
             Hilda
            </a>
           </span>
           发表在《
           <a href="http://cos.name/2013/01/drawing-map-in-r-era/#comment-7311">
            R时代，你要怎样画地图？
           </a>
           》
          </li>
         </ul>
        </aside>
        <aside class="widget widget_rss" id="rss-282869971">
         <h3 class="widget-title">
          <a class="rsswidget" href="http://cos.name/cn/topics/feed/">
           <img src="http://cos.name/wp-includes/images/rss.png"/>
          </a>
          <a class="rsswidget" href="http://cos.name/cn/topics/feed/">
           中文论坛新帖
          </a>
         </h3>
         <ul>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/417372/">
            处理时间数据和产生时间序列的问题
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/6790/">
            《统计陷阱》下载 （How to lie with statistics）
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/818/">
            统计学的世界（第五版）
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/16574/">
            class(x) 返回值值是AsIs,AsIs代表什么，有什么用处？
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/417366/">
            如何用R绘制一个分类算法的决策规则
           </a>
          </li>
         </ul>
        </aside>
        <aside class="widget widget_text" id="text-2">
         <h3 class="widget-title">
          登录/RSS
         </h3>
         <div class="textwidget">
          <ul>
           <li>
            <a href="http://cos.name/wp-admin/">
             登录
            </a>
           </li>
           <li>
            <a href="http://cos.name/feed/" title="使用 RSS 2.0 同步站点内容">
             文章
             <abbr title="Really Simple Syndication">
              RSS
             </abbr>
            </a>
           </li>
           <li>
            <a href="http://cos.name/comments/feed/" title="RSS 上的最近评论">
             评论
             <abbr title="Really Simple Syndication">
              RSS
             </abbr>
            </a>
           </li>
          </ul>
         </div>
        </aside>
       </div>
       <!-- .widget-area -->
      </div>
      <!-- .sidebar-inner -->
     </div>
     <!-- #tertiary -->
    </div>
    <!-- #main -->
    <footer class="site-footer" id="colophon" role="contentinfo">
     <div class="site-info">
      版权所有 © 2014 统计之都 | 由
      <a href="http://wordpress.org/">
       WordPress
      </a>
      构建 | 主题修改自
      <a href="http://wordpress.org/themes/twentythirteen">
       Twenty Thirteen
      </a>
     </div>
     <!-- .site-info -->
    </footer>
    <!-- #colophon -->
   </div>
   <!-- #page -->
   <p style="margin:0;padding:0;height:1px;overflow:hidden;">
    <a href="http://www.wumii.com/widget/relatedItems" style="border:0;">
     <img src="http://static.wumii.cn/images/pixel.png"/>
    </a>
   </p>
  </div>
 </body>
</html>